総合研究大学院大学(5年一貫博士課程)
1/10/2025
2023 年度は (Giné and Nickl, 2021) の第2章を扱った
ここでは Gauss 過程の上限に関する集中不等式を取り上げる.
A Blog Entry on Bayesian Computation by an Applied Mathematician
$$
$$
体積測度 \mu が等しい可測集合のうち,球が最小の測度を持つ.
古典的集中不等式 (Schmidt, 1948)-(Lévy, 1951)
n-次元球面 S^n\subset\mathbb{R}^{n+1} に関して,A\subset S^n を Borel 可測,C を同体積の(測地)球とすると, \mu(C_\epsilon)\le\overline{\mu}(A_\epsilon),\qquad\epsilon>0.
(Giné and Nickl, 2021, p. 31) 定理 2.2.3
\gamma_n を \mathbb{R}^n 上の標準正規分布とする.A\subset\mathbb{R}^n を Borel 可測, H_a:=\left\{x\in\mathbb{R}^n\mid(x|u)\le a\right\},\qquad a\in\mathbb{R},u\in\mathbb{R}^n\setminus\{0\}, を同体積の affine 半空間 とすると, \gamma_n(H_a+\epsilon B^n)\le\overline{\gamma_n}(A_\epsilon+\epsilon B^n),\qquad\epsilon>0.
\mathbb{R}^n だけでなく \mathbb{R}^\infty 上でも成り立つ.半径 \sqrt{m} の n+m 次元球面 S^{n+m} 上の一様分布の,最初の n 次元周辺分布は,m\to\infty の極限で正規分布に収束する (Poincaré, 1912): (\mathrm{pr}_{1:n})_*\mathrm{U}{\sqrt{m}S^{n+m}}\Rightarrow\mathrm{N}_n(0,I_n).
\{X_t\}_{t\in T} を可分な中心 Gauss 過程で,ほとんど確実に上限 \|X\|_\infty が有限であるとする.このとき,\|X\|_\infty の中央値 M に関して,1 \operatorname{P}\biggl[\biggl|\|X\|_\infty-M\biggr|>u\biggr]\le\exp\left(-\frac{u^2}{2\sigma^2}\right),\qquad u>0,\sigma^2:=\sup_{t\in T}\mathrm{V}[X_t].
同様の命題を平均値の周りに関しても示せる.係数 2 が前につくものは (Gross, 1975) による正規分布に関する対数 Sobolev 不等式から導ける.
Curie-Weiss 模型の Hamiltonian H^n(x):=-\frac{1}{2n}\sum_{i,j=1}^nx_ix_j-h\sum_{i=1}^nx_i,\qquad x\in\{\pm1\}^n,h\in\mathbb{R}, が定める Boltzmann-Gibbs 分布 \pi^n(x)\,\propto\,e^{-\beta H^n(x)},\qquad\beta>0, と 磁化密度 m^n(x):=\overline{x} に関して, \pi^n\left[\biggl|m^n-m^*\biggr|\le\frac{\beta}{n}+\frac{t}{\sqrt{n}}\right]\le2\exp\left(-\frac{t^2}{4(1+\beta)}\right).
証明は Stein の方法による.
磁化密度のサンプリング
Hamiltonian H^n は磁化密度 m^n の二次関数 H^n(m)=-n\left(\frac{1}{2}m^2+hm\right), \pi^n(m)\propto e^{-\beta H^n(m)}.
配置空間 \Omega:=\{\pm1\}^n 上の一様な酔歩が(中心化された)磁化の空間 (\mathbb{R},\overline{\pi}^n) 上に定める MH 法は,高温領域では Gauss 分布に対する Langevin 拡散に n\to\infty で弱収束する: dY_t=-2l(h,\beta)Y_t\,dt+\sigma(h,\beta)\,dB_t.
MH 法の収束は O(n) のスケーリングで動く.すなわち生成作用素 L^nf:=n\biggr(P^nf-f\biggl),%\qquad f\in\cD(L^n), が Langevin 拡散に収束する.
一方で Lifted MH 法は O(n^{1/2}) のスケーリングで収束する: L^nf:=\sqrt{n}\biggr(P^nf-f\biggl),%\qquad f\in\cD(L^n).
(Lefted MH Turitsyn et al., 2011)
状態空間を2つに分け,目標分布を等分配する: \widetilde{\mathbb{R}}:=\mathbb{R}\times\{\pm1\},\quad\widetilde{\pi}:=\pi\otimes\frac{1}{2}. \mathbb{R} 上の1つの遷移核 Q から,\mathbb{R}\times\{+1\} 上と \mathbb{R}\times\{-1\} 上とで異なる遷移核 \widetilde{Q}^\pm を作る構成を リフティング という.
このとき 歪釣り合い条件 を満たすように作る: \pi(x)\widetilde{Q}^+(x,y)\propto\pi(y)\widetilde{Q}^-(y,x).
\widetilde{Q}^+ では磁化の増加方向,\widetilde{Q}^- では減少方向にのみ提案するとする.
このとき Lifted MH 法は O(n^{1/2}) のスケーリングで Zig-Zag 過程 に収束する: Lf(m,\theta):=\alpha(h,\beta)\theta f'(m,\theta)+ (\theta l(h,\beta)m)_+\biggr(f(m,-\theta)-f(m,\theta)\biggl).